【下一代对象专题】专利（待授权）生命周期管理特性实现数据高效流动
需求背景
生命周期管理挑战
业界厂商普遍都实现了生命周期管理功能，包括：数据过期清理、数据流动，然而也存在着一些局限性，使得生命周期管理难以高效、便捷。例如：
1. 数据仅支持在少数的几个存储层级间流动，并且存在存储厂商锁定的困扰；
2. 筛选符合要求的对象非常麻烦，执行效率受数据规模影响大。通常仅支持按照前缀、标签等少数的几个数据集进行生命周期管理；
3. 对象的多种任务严格按照业务要求的顺序执行复杂度高，容易产生错漏，故大部分厂商支持的处理模式较为单一；
4. 管理时间粒度不够灵活，通常只能按天设置；
5. 数据流动过程占用大量的存储带宽、IO资源，影响存储系统性能；
……
星辰天合对象存储生命周期管理
基于用户对数据生命周期管理迫切的需求，XSKY星辰天合对象存储提供一站式数据全生命周期管理的方案。不同于业界主流厂商有限的数据流动策略，XSKY对象存储秉持着生态开放的理念，接入了多种异构存储平台，包括：公有云对象存储、兼容S3的对象存储、文件存储、蓝光、磁带库等，数据除了在本地不同资源池中流动以外，还可以在各存储平台间自由流动，实现厂商解锁的同时，突破单存储平台的规模限制。
高效筛选
通常为了筛选符合生命周期规则的数据，需要执行全桶数据扫描遍历，不仅执行效率低下，对存储系统性能还会造成较大影响。星辰天合自研了生命周期规则数据筛选机制，根据用户配置的生命周期规则，获取存储桶在指定时间区段内生成的变更时序数据库信息，通过这些时序数据能够快速地识别出符合条件的对象。该筛选机制已经申请了国家知识产权局发明专利，当前正处于实质审查阶段。
得益于自研的高效筛选机制，星辰天合对象存储能够支持更丰富的生命周期数据集，允许业务数据按照前缀、后缀、标签、扩展发生、拥有者、对象大小、对象类型等进行数据生命周期管理。
多样处理，任务有序
星辰天合对象存储支持多种数据处理方式，包括：过期删除、数据镜像、数据分层、数据归档等，满足不同的场景需求。例如：历史版本过期删除；数据灾备；热温冷池间自由流动；数据归档。
面对不同的任务，同一对象应当按照一定的顺序执行，才能保证满足对象存储的业务需求。然而在以往相关技术中，对象的多个任务无法做到严格按照业务要求的顺序执行，容易产生错漏。
针对该问题，星辰天合自研了一种任务处理方法，从而解决了分布式存储服务中多种任务难以保序执行的技术问题，并且在2021年向国家知识产权局申请了发明专利。
在星辰天合下一代对象存储中，按照配置的分钟数、天数、时间顺序执行任务，例如：1天后执行镜像，15天后执行分层，20天后执行归档，50天后执行过期删除。
如果对象同时匹配多个不同任务类型的规则，则按照成本优先原则执行（过期＞归档＞分层＞镜像＞过期保留次级存储），比如多个规则中包括镜像、分层、过期删除保留次级存储，则保证数据已经完成分层再删除保留次级存储。
当对象匹配了相同任务的多个规则时，仍然采用成本优先原则进行处理，例如匹配多个归档任务时，归档到最大的次级存储。
数据纳管
对于企业已有的存储系统和数据，星辰天合对象存储还支持通过回源方式进行纳管，实现数据面的统一管理。利用不同方式按需纳管外部数据后，被纳管的数据仍然适用于生命周期管理功能，不再需要为数据迁移和跨平台使用而兴师动众。
业务影响小
在执行生命周期任务的过程中，数据的流动往往会占用大量的资源。为了避免影响业务，星辰天合自研了分布式QoS技术，有效控制数据流动的带宽和请求数。同时，生命周期执行的站点、执行时间允许用户灵活定义。
总结
星辰天合不断地升级完善数据生命周期管理方案，在下一代对象存储中将呈现出更为高效灵活的生命周期管理特性，辅助用户更好地完成数据管理，保障存储性能符合业务要求的情况下，降低存储成本，同时实现数据价值。
END
扫码关注
服务号
往期推荐